Метод релевантных векторов

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску

Метод релевантных векторов (МРВ, англ. Relevance Vector Machine, RVM) — это техника машинного обучения, которая использует байесовский вывод для получения решений на принципе экономности для регрессии и вероятностной классификации[1]. МРВ имеет тот же функциональный вид, что и метод опорных векторов, но обеспечивает вероятностную классификацию.

Метод, фактически, эквивалентен модели гауссовского процесса с функцией ковариации[англ.]:

,

где является ядерной функцией[англ.] (обычно, гауссианом), являются априорными дисперсиями вектора весов , а являются входными векторами тренировочного набора[англ.][2].

По сравнению с методами опорных векторов байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе последовательной минимальной оптимизации[англ.], используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов запатентован в США[англ.] компанией Microsoft[3].

Примечания

[править | править код]
  1. Tipping, 2001, с. 211-244.
  2. Candela, 2004.
  3. Michael E. Tipping, "Relevance vector machine", US 6633857

Литература

[править | править код]
  • Michael E. Tipping. Sparse Bayesian Learning and the Relevance Vector Machine // Journal of Machine Learning Research. — 2001. — Т. 1.
  • Joaquin Quiñonero Candela. Sparse Probabilistic Linear Models and the RVM // Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines. — Technical University of Denmark, 2004. — (Ph.D.).

Программное обеспечение

[править | править код]